Ngữ chi Asli bắt nguồn từ mạn tây dãy Titiwangsa rồi dần lan về phía đông đến Kelantan, Terengganu và Pahang.[3] Những nhánh ngôn ngữ gần với ngữ chi Asli nhất là ngữ chi Môn và ngữ chi Nicobar.[4] Có thể từng có cả những sự tiếp xúc giữa những bộ tộc Asli với người nói ngôn ngữ Môn hay Nicobar vào thời cổ.

Những ngôn ngữ Asli đều có từ mượn từ các nguồn ngôn ngữ mà ngày nay trên bán đảo Mã Lai không còn tồn tại nữa. Roger Blench (2006)[5] ghi nhận sự hiện diện của từ mượn nhóm Borneo và Chăm-Aceh, cho thấy người nói những ngôn ngữ đó từng cư ngụ trên bán đảo.

Blagden (1906),[6] Evans (1937)[7] và Blench (2006)[5] nhận ra rằng các ngôn ngữ Asli, nhất là nhóm Asli Bắc (Jahai), có nhiều từ mà không thể xác định nguồn gốc. Tiếng Kenaboi từng tồn tại của Negeri Sembilan cũng có nhiều từ không rõ nguồn gốc, ngoài những từ gốc Nam Á hay Nam Đảo.